KV Cache 面试题
共 44 篇真实面经 · 涵盖 阿里巴巴 / 白龙马云行 / 字节跳动 / MiniMax / 思必驰 等 26 家公司
阿里 AI Agent 应用开发二面:工作流与自主 Agent 的边界、MCP、幂等与提示注入
阿里 AI Agent 应用开发二面连续十一问,覆盖确定性工作流与自主 Agent 如何划分、MCP 与 Function Calling 的关系、KV Cache 缓存什么与显存估算、HNSW 为什么快及调参后丢了什么、Embedding 微调的负样本、RAG 端到端评测、异步工具调用的并行与取消、写接口幂等、检查点与幂等的关系、检索文档里的提示注入,以及换更强模型后能否删掉提示与编排步骤。
白龙马云行 AI 后端一面:RAG 多模态、Transformer 与 G1 回收器
白龙马云行 AI 后端开发一面 50 分钟、20 个问题:从笔试题现场完善、研究生课题与模型全流程,到 AI 后端与普通后端的区别、AI 编码占比、skill 质量保障,再进入 RAG 的多模态支持与文档切片、Transformer 原理与上下文限制、KV Cache、temperature,最后是 G1 回收过程、MySQL 回滚与 B+ 树。帖主一面通过、二面拒绝。
字节大模型算法三面:从 Transformer 复杂度推到成本结构
字节大模型算法三面实录:22 道题覆盖项目归因、Transformer 复杂度推导、MHA/MQA/GQA 的 KV Cache、VAE 损失与训练工程,手撕三维积木堆叠。
字节大模型算法三面:从简历一行字拆到 KV Cache 与 GRPO
字节大模型算法三面,72 分钟没有一行八股。面试官让挑简历里一行字往里拆:推理链路各环节耗时、P99 口径、优化 40% 的分母与失败重试、把 temperature 改成 0 指标会怎样;接着现场推 attention 与 FFN 的计算量、判断 N=2048/D=4096 的瓶颈、估 KV Cache 显存、解释长上下文为什么必须改架构;训练侧问 loss 尖刺排查、去重阈值、退火配比、loss mask 漏了会怎样、GRPO 的 advantage 与 PPO 的区别、DAPO 改了什么、投机采样接受率、PD 分离的收益与代价;最后是长窗口与 RAG 的选择、砍一半卡先砍哪块,手撕三维积木堆叠。
MiniMax 一面 80 分钟:以为面应用岗,结果从 RoPE 问到 PagedAttention
MiniMax 大模型应用岗一面 80 分钟,结果挂。前十五分钟问 Agent 项目、AI Coding、Skill 与 RAG,中间三十五分钟全是模型侧:attention 为什么除根号 d_k、GLM 与 GPT 的结构差异、RoPE 的数学形式与外推、位置插值/NTK-aware/YaRN/ALiBi、Sparse Attention、MoE 路由与负载均衡、INT4 量化、LoRA 与 DPO/PPO;最后三十分钟问 KV cache 显存计算、PagedAttention、连续批处理、投机解码与 vLLM/SGLang,手撕用 numpy 实现 RoPE 加位置插值外推。
思必驰训推平台一面:口述 decoder-only 模型处理一次请求
思必驰训推平台一面以项目追问为主,技术题是一道口述题:讲清 decoder-only Transformer 架构处理一次请求的完整流程。帖文只记录到这两个环节。
腾讯 Agent 开发一面:LangGraph 编排、KV Cache 与审核链路
腾讯 Agent 开发一面明显偏项目实践:先问为什么组合 LangChain 与 LangGraph、系统如何判定生成方案不合格并把审核结果反馈回执行链路、建了哪些可观测能力;再深挖主 Agent 向子 Agent 传递哪些上下文、压缩是自研还是框架能力、Token 优化与 KV Cache 命中、Skill 折叠后对缓存复用的影响、Skill 与工具的映射关系,最后问模型选型、独立评测、缓存失效导致费用上升如何定位,以及生成与审核同模型时的共同盲点。
腾讯混元 AI Infra 二面:三代 GPU 架构、Cache-Aware 路由与 W4A4 稀疏算子
腾讯混元 AI Infra 二面全部围绕自研推理栈:先对比 Ampere、Hopper、Blackwell 三代架构的 TMA、Tensor Memory 与低比特支持,再追问 WGMMA 与 UMMA 的指令级差异、Cache-Aware 路由的评分与调参、TILE Cache 系统仿真,最后落到 W4A4 稀疏算子的实现细节,并现场手写带工程优化的 Softmax。
腾讯混元 AI Infra 二面复盘:从 Hopper WGMMA 到 Blackwell UMMA 的底层追问
同一场腾讯混元 AI Infra 二面的另一份记录:面试官按「硬件架构—指令—算子—服务调度」逐层下钻,五组问题覆盖三代 GPU 的搬运与计算机制、Cache-Aware 路由的评分调参、TILE Cache 仿真、W4A4 稀疏 Kernel,最后要求手写 Softmax 并讲清每一步优化为什么有效。
小红书 PE 二面:Agent 项目、缓存一致性与手撕接雨水
小红书 PE 岗二面,先花二十分钟拷打 Agent 项目的业务效果对比、记忆与沙箱,再问本地缓存、Redis 与数据库之间的一致性及权衡,以及 KV Cache 原理、Agent 发展趋势,最后手写哈希表与接雨水。
16 家 AI 公司面经汇总:8 道高频题与答题要点
汇总字节、百度、美团、滴滴、腾讯等 16 家公司 AI 岗面经后归纳出的 8 道高频题:不用框架手写 Agent 的模块拆分、RAG 召不到数据怎么排查、Agent 记忆管理与压缩、MCP/Skill 工具接入、KV Cache 与长文本显存、MoE 路由与负载均衡、LoRA 原理与 rank 选择,以及 Agent 开发与传统前后端开发的本质差异。
AI Infra 一面:简历是 Agent 项目,却被问部署验收与 KV Cache 卸载
简历全是 AI Agent 项目却面到 AI Infra 岗位:开场问想做训练还是微调,随后全问 token 成本分析与并发压测标准、知识库构建方式、TensorRT 部署的卡型与集群经验、论文算法、FastAPI 架构、KV Cache 卸载方法与掌握程度,全程没有手撕。
扒了 35 家 AI 公司面经,考最多的居然不是 Transformer
汇总 35 家大模型公司约 600 道面经题后的高频考点复盘:出现次数最多的是 KV 缓存与显存计算,其次是 MoE 的路由与负载均衡、Prompt 与 RAG 和微调的选型,以及面向海量用户的聊天助手系统设计。
阿里 AI 应用开发二面:流式 Tool Call、百工具检索与上下文四层压缩
阿里 AI 应用开发二面:围绕代码修复 Agent 深挖——流式输出下 Tool Call 的聚合与校验、几百个工具时用工具检索替代全量 schema、避免 Agent 陷入无效循环、为什么结束条件要由系统判定;接着问上下文 L0~L3 四层压缩、百万级代码仓库的三路检索、线上轨迹怎么转成训练数据、长上下文「信息在但用不到」的成因,以及 KV Cache 与 Prompt Injection。
阿里云 Agent Infra 一面:SGX、EPC、512MB、吞吐不升反降
阿里云 Agent Infra 一面面经:从 Intel SGX 的 EPC 512MB 与多租户数据安全切入,追问 PV 变 4 倍吞吐不升的定位,再考沙箱多租户隔离与容器重启状态恢复、通用 Agent Runtime 的多模型抽象、长序列训练显存与 vLLM PagedAttention,最后手撕嵌套字符串解析。
蚂蚁集团 AI Agent 开发面经:记忆设计、多 Agent 协作与工具调用
蚂蚁集团 AI Agent 开发面经:从 Agent 项目落地问到 Markdown 记忆与 RAG 的取舍、多 Agent 与 Workflow 的边界、无人审核下的稳定性、工具调用与 MCP 的失败降级,再考 KV Cache、B+ 树、Python GIL,最后手撕 O(1) 取最小值的线程安全栈。
蚂蚁集团 AI Agent开发压力面:记忆管理、MCP 与多 Agent
蚂蚁集团 AI Agent 开发压力面:记忆管理选型、Agent Teams 与 Workflow 取舍、工具调用可靠性与 MCP、意图识别与评测集,另有数据库与推理八股。
百度大模型算法岗一二面面经
百度大模型算法岗一面二面面经。一面考多模态架构、视觉语言 Adapter、ViT 特征提取与自注意力原理,并手撕最大正方形;二面深入 MHA/MQA/GQA 与 KV Cache 显存、PagedAttention 和代码补全 Agent 的工程实现。
字节跳动广告算法面经(同场第二份回忆):归一化、AUC 与 DPO
同一场字节广告算法一面的另一份回忆:生成式召回的结构改动、常用归一化、负采样对 AUC 的影响、DPO 公式与 MoE 效果归因、SGD/Adam 差异、KV Cache 与正余弦位置编码。
字节跳动广告算法面经:归一化、AUC 与 DPO、KV Cache 十问
字节广告算法一面十问:生成式召回怎么改结构、常用归一化、去掉负样本后 AUC 怎么变、DPO 公式、MoE 激活分布、SGD 与 Adam、KV Cache 与正余弦位置编码手撕。
滴滴 AI Infra 算法岗一二面面经
滴滴 AI Infra 算法岗一二面:一面考 Attention 优化、KV Cache 显存计算与 ZeRO 分片;二面深挖流水线调度、分布式 Decode 与 PyTorch 编译栈。
滴滴 AI Infra 算法岗一二面面经
滴滴 AI Infra 算法岗一二面面经:一面考 Attention 架构优化、KV Cache 管理、MLA 与线性注意力、GQA 显存估算与 DeepSpeed ZeRO,二面追问调度细节并手撕 CUDA 算子。
华为 AI 方向机考 10·23:自注意力复杂度、KV Cache 内存池与朴素贝叶斯纠错
华为 2026 年 10 月 23 日 AI 方向机考:第一部分 10 道选择题共 150 分,覆盖自注意力复杂度、池化作用、PCA、大模型评测指标、线性相关、泊松分布、因果掩码、NHWC 内存布局、RNN 递推与 F1;第二部分两道编程题——KV Cache 的 Block 内存池调度(150 分)与基于朴素贝叶斯的字符级 OCR 纠错(300 分)。
米哈游 大模型算法 面经:LoRA 一致性、Agent 与推理优化
米哈游大模型算法岗面经:ACM 模式代码题加三道手撕(岛屿数量、rand7 实现 rand10、冒泡排序),技术题覆盖 LoRA 原理与一致性控制、大请求量下的 QPS 保障、Agent 使用经历、实习期 60 多个自动化验证用例的追问,以及多模态视频输入与视觉幻觉缓解、embedding 与 reranker 的分工、ANN 选型、Transformer 与 Attention 复杂度、KV Cache、GQA/MLA、vLLM、Flash Attention、稀疏注意力和推理变慢的排查思路。
10 月大模型推理五场面试合集:量化、KV Cache 与 CUDA 执行机制
10 月大模型推理五场面试合集:后摩智能问浮点格式与 KV Cache,腾讯 WXG 追问 CUDA 执行机制,地平线考区间拆分,字节 Data 问分级存储,阿里千问聊量化与 PTQ、QAT。
顺丰 AI 全栈一面:ReAct 循环、缓存命中率与知识库 pipeline
顺丰 AI 全栈一面面经(10 月 8 日),半小时无手撕无八股,面试官主问 AI 与实习:ReAct 循环的实现与终止条件判断、最大迭代次数的定法、实测最复杂任务,以及 prompt caching 与 KV Cache 的原理和命中率优化;后半段深入供应链知识库建设,追问 LM Wiki 从 raw 文档抽 concept/实体/边的 pipeline、节点变更的影响面分析、多语言翻译插件为什么用 ES 做语义召回。
顺丰 HR 面:AI Coding、供应链与 token 成本九个问题
顺丰 HR 面九个问题:从「安全专业为什么做开发」问到 AI Coding 的心得、AI 与供应链物流的结合、三年规划、实习项目里的 Harness 设计、除了 KV Cache 复用之外的降 token 手段,最后是秋招进展与期望薪资,三天后状态码更新为 40。
数盾股份 AI 应用开发实习一面:虚拟内存、35B 模型部署与 Agent 工程
数盾股份 AI 应用开发实习一面(近一小时):从学业成绩切入操作系统与模型部署——虚拟内存、进程线程、模型运行时内存占用、35B 模型要什么配置、上下文压缩的目的与缓存机制,最后问 Agent 接口是否硬编码以及怎么用 AI 辅助开发。
水滴 AI 全栈一面:幻觉治理、Token 成本与计算机基础
水滴 AI 全栈一面 30 分钟:前半程深挖智能问答链路、幻觉与多轮记忆、子 Agent、语义预筛选和 token 成本,后半程考复杂度、Function Calling/MCP/Skills、JVM 内存、并发可见性、URL 访问流程与 TCP 握手。
腾讯 CSIG 业务后训练日常实习一二面:大模型与 RL 高频深挖
腾讯 CSIG 业务后训练日常实习一面二面记录:一面围绕位置编码演进、视频 VLM 的帧采样与时序建模、Qwen2-VL 与 Qwen3.5-VL 编码差异、超大分辨率与长文档适配、推理超参、SFT 与 RL 的适用场景、数据 Pipeline、稀疏 Attention 与模型量化;二面深挖 RL 训练监控指标、KV Cache 与显存优化、vLLM 与 SGLang 的加速机制差异、PPO 与 GRPO 算法细节、RL 三核心以及 VLM 全流程训练与指标归因。
腾讯混元 AI Infra 二面:GPU 架构、KV Cache 与算子
腾讯混元 AI Infra 二面:从安培、Hopper、Blackwell 三代架构与 TMA、WGMMA/UMMA 指令差异,问到 Cache-aware 推理路由、跨实例 KV Cache 共享、稀疏算子设计与手撕 Softmax 算子优化,问题全部打在自研推理栈的细节上。
大模型应用一面:提示词结构、KV Cache、ReAct 与 RAG 链路
一场 50 分钟的大模型应用面:先问提示词结构与工具定义的位置,再问 KV Cache、注意力机制、ReAct 的实现与死循环治理、A→B→A 的互相调用,最后落到 RAG 的完整链路、原始资料的格式支持与文本切分策略,其余时间围绕项目展开。
阿里云 AI Agent 算法一面面经全解析
阿里云 AI Agent 算法一面 20 题:KV Cache 显存估算、Agent 上下文治理与取消、MCP 调用流程、RAG 父子索引、ReAct 与 Plan 取舍、多 Agent 协作与死循环兜底,另考分布式 ID、缓存、Redis、ThreadLocal、Spring 与 TCP。
蚂蚁集团大模型算法面经合集:并发基础与训练推理
蚂蚁集团大模型算法岗六场面试合集:一面以线程池、锁与 JVM、索引与 B+ 树、Redis 与秒杀链路打底,二面追问线索评分 ROI、Prompt 强制 JSON 输出与幻觉兜底、800ms 链路拆解;后几面深入 MLA 与 KV Cache 优化、蒸馏数据清洗与 w8a16 量化,以及 PPO/GRPO 的损失、KL 估计与 rollout 资源关系。
百度 AI Agent 开发岗面经:LangGraph 架构与高并发会员保障
百度 AI Agent 开发岗四场面试题目合集,围绕 LangGraph 迁移成本、Agent 评测集设计、Harness 工程、高并发下会员优先级保障,以及 MCP 与 Skill 的区别、KV Cache、TIME_WAIT 等基础题。
大疆 9.23 算法类笔试记录:大模型训练与端侧推理场景题
大疆 9.23 算法类笔试记录:单选、多选、判断加问答题,最后一题是场景设计——为手机端自然语言回答助手解决多模态大模型出 token 慢的问题,要求从 KV Cache、权重压缩等方向给出方案;帖子作者投的是 Agent 岗,但考点偏大模型训练。
华为 AI 方向机考 9 月 18 日:10 道选择加全局位注意力编程题
华为 AI 方向 9 月 18 日机考真题:10 道选择题覆盖 RoPE、矩阵维度、余弦相似度、评测指标、CUDA 共享内存、稀疏格点、正态分布、KV Cache、偏差方差与 Kernel 融合流量计算,外加一道 150 分的全局位与窗口注意力编程题。
快手 后端开发一面面经(9.28):Agent 架构、LLM 评测与 KV Cache 深挖
快手后端开发一面面经,9 月 28 日。围绕实习与 Agent 项目追问多 Agent 取舍、MCP 与本地 CLI 的区别、Agent 可观测指标、LLM as a judge 的取舍、代码知识库为何不用图,以及 KV Cache 复用、QPS 优化与零拷贝;手撕最小覆盖子串。
绿盟科技软件研发秋招二面:C++ 内存排查与推理平台设计
绿盟科技软件研发秋招二面:从 C++ 服务偶发堆损坏的排查切入,追问 TCP 有确认重传为何应用层仍无法确认消息被处理、多租户推理治理与 KV Cache 调度设计,以及 Valgrind 的局限与 epoll 边沿触发要点。
拼多多 AI Infra 提前批一面:前缀和算法题与推测解码深挖
拼多多 AI Infra 提前批一面面经,约 30 分钟算法题(删除一段连续区间使剩余和能被 K 整除,追问前缀和取模加哈希优化),随后深挖推测解码项目与 vLLM、KV Cache、PagedAttention、FlashAttention 等推理框架原理。
淘天集团 Agent 算法一面:SFT 超参、Muon 与 KV Cache
淘天集团 Agent 算法一面:任务合成与清洗、bad pattern 重采样、RL 轨迹压缩与 SFT 超参,考 Adam 与 Muon 的区别、ReAct、KV cache 为什么只缓存 K 和 V,并用 torch 手写多头注意力。
腾讯 Agent Infra 面经:SGX 沙箱与推理性能排查
腾讯 Agent Infra 面经:考察自动化稳定性、Intel SGX 多租户与 EPC 换页安全、沙箱隔离与容器重启后的状态恢复,并追问多模型抽象与链路追踪,以及 KV Cache、PagedAttention 等推理优化。
腾讯社招一面面经(Agent 方向)
腾讯社招一面,全程围绕 Agent 项目的工程实现:框架选型为什么用 LangChain + LangGraph、方案审核用什么指标判断不合格以及审核结果怎么回流链路、可观测性怎么做、调用 sub-agent 时主 Agent 的 context 带不带过去、超长内容怎么压缩(自研还是用 LangGraph 自带);重点问 token 消耗优化和 KV Cache 命中率的手段,并追问 Skill 系统的设计——移除 Skill 正文会不会破坏 KV Cache、Skill 本身是一个工具还是多个工具。
腾讯社招二面面经(Agent 方向)
腾讯社招二面,围绕 Agent 项目的技术细节逐个追问:项目语言选型与 Go 的 Agent 框架、意图识别的具体实现与准确率如何验证、多意图请求怎么处理、上下文工程与 memory 模块的做法、KV Cache 命中率优化、多轮对话的上下文压缩是同步还是异步、agent 线上部署规模与用户量、全链路可观测性用什么存储、整体效果评测怎么做。